植物是动态生物。对于野外所有机器人来说,了解植被的时间变化是一个必不可少的问题。但是,在时间上关联重复的3D植物扫描是具有挑战性的。此过程中的关键步骤是随着时间的推移重新识别和跟踪相同的单个植物组件。以前,这是通过比较其全球空间或拓扑位置来实现的。在这项工作中,我们演示了使用形状功能如何改善颞器官匹配。我们提出了一种无里程碑的形状压缩算法,该算法允许提取叶子的3D形状特征,在少数参数中有效地表征叶片形状和曲率,并使特征空间中各个叶子的关联成为可能。该方法使用主成分分析(PCA)结合了3D轮廓提取和进一步的压缩,以产生形状空间编码,这完全是从数据中学到的,并保留有关边缘轮廓和3D曲率的信息。我们对番茄植物的时间扫描序列的评估表明,结合形状特征可改善颞叶匹配。形状,位置和旋转信息的结合证明了最有用的信息,可以随着时间的推移识别叶子,并产生75%的真正正率,对固定方法提高了15%。这对于机器人作物监测至关重要,这可以实现全面的表型。
translated by 谷歌翻译
我们提出了一种基于学习的路径跟踪算法的光路构造方法,其迭代地优化和样本从我们称为时空高斯混合模型(SDMMS)。特别是,我们将事件发光近似为6美元的5美元的5美元,由$ k $ d-tree加速。使用相同的框架,我们将BSDFS近似为预先培训的$ N $ D混件,其中$ N $是BSDF参数的数量。这样的方法解决了路径指导模型中的两个主要挑战。首先,$ 5 $ D辐射表示自然捕获空间和方向尺寸之间的相关性。例如,这种相关性存在于视差和焦化中。其次,通过使用高斯的切线参数化,我们的时空混合物可以执行具有任意定向的BSDF的近似产品采样。现有模型仅能够通过上述混合组件的各向异性或者代表局部(正常对准)坐标的光阳场来执行此操作,这使得辐射场更难以学习。切线参数化的额外益处是,每个单独的高斯映射到固体靠近其质心的低失真的固体球体。我们的方法在具有小型局部灯具的场景中表现尤其好,该灯具在入射光辐射中引起高时空相关性。
translated by 谷歌翻译
For small training set sizes $P$, the generalization error of wide neural networks is well-approximated by the error of an infinite width neural network (NN), either in the kernel or mean-field/feature-learning regime. However, after a critical sample size $P^*$, we empirically find the finite-width network generalization becomes worse than that of the infinite width network. In this work, we empirically study the transition from infinite-width behavior to this variance limited regime as a function of sample size $P$ and network width $N$. We find that finite-size effects can become relevant for very small dataset sizes on the order of $P^* \sim \sqrt{N}$ for polynomial regression with ReLU networks. We discuss the source of these effects using an argument based on the variance of the NN's final neural tangent kernel (NTK). This transition can be pushed to larger $P$ by enhancing feature learning or by ensemble averaging the networks. We find that the learning curve for regression with the final NTK is an accurate approximation of the NN learning curve. Using this, we provide a toy model which also exhibits $P^* \sim \sqrt{N}$ scaling and has $P$-dependent benefits from feature learning.
translated by 谷歌翻译
Recently, a surge of high-quality 3D-aware GANs have been proposed, which leverage the generative power of neural rendering. It is natural to associate 3D GANs with GAN inversion methods to project a real image into the generator's latent space, allowing free-view consistent synthesis and editing, referred as 3D GAN inversion. Although with the facial prior preserved in pre-trained 3D GANs, reconstructing a 3D portrait with only one monocular image is still an ill-pose problem. The straightforward application of 2D GAN inversion methods focuses on texture similarity only while ignoring the correctness of 3D geometry shapes. It may raise geometry collapse effects, especially when reconstructing a side face under an extreme pose. Besides, the synthetic results in novel views are prone to be blurry. In this work, we propose a novel method to promote 3D GAN inversion by introducing facial symmetry prior. We design a pipeline and constraints to make full use of the pseudo auxiliary view obtained via image flipping, which helps obtain a robust and reasonable geometry shape during the inversion process. To enhance texture fidelity in unobserved viewpoints, pseudo labels from depth-guided 3D warping can provide extra supervision. We design constraints aimed at filtering out conflict areas for optimization in asymmetric situations. Comprehensive quantitative and qualitative evaluations on image reconstruction and editing demonstrate the superiority of our method.
translated by 谷歌翻译
提取复杂刺激的潜在来源对于理解世界至关重要。尽管大脑不断解决这种盲源分离(BSS)问题,但其算法仍然未知。先前关于生物学上可行的BSS算法的工作假设观察到的信号是统计独立或不相关的源的线性混合物,从而限制了这些算法的适用性域。为了克服这一局限性,我们提出了新型的生物学上的神经网络,以盲目地分离潜在的依赖/相关来源。与以前的工作不同,我们假设源向量的一般几何形状,而不是统计条件,允许分离潜在的依赖/相关源。具体而言,我们假设源矢量足够散布在其域中,可以用某些多面体描述。然后,我们考虑通过det-Max标准恢复这些源,这使输出相关矩阵的决定因素最大化,以实施类似的传播源估计值。从这个规范性原理开始,并使用加权相似性匹配方法,该方法可以通过本地学习规则适应任意线性转换,我们得出了两层覆盖生物学上可见的神经网络算法,这些神经网络算法可以将混合物分离为来自各种源域的来源。我们证明,我们的算法在相关的源分离问题上优于其他生物学上的BSS算法。
translated by 谷歌翻译
大脑中的早期感觉系统迅速适应波动的输入统计,这需要神经元之间的反复通信。从机械上讲,这种复发的通信通常是间接的,并由局部中间神经元介导。在这项工作中,我们探讨了与直接复发连接相比,通过中间神经元进行反复通信的计算益处。为此,我们考虑了两个在统计上使其输入的数学上可行的复发性神经网络 - 一种具有直接复发连接,另一个带有介导经常性通信的中间神经元。通过分析相应的连续突触动力学并在数值上模拟网络,我们表明,具有中间神经元的网络比具有直接复发连接的网络更适合初始化,这是因为与Interneurons网络中的突触动态的收敛时间(RESS)(RESS)( 。直接复发连接)与它们初始化的频谱以对数(线性分析)进行对数缩放。我们的结果表明,中间神经元在计算上对于快速适应更改输入统计的有用。有趣的是,具有中间神经元的网络是通过直接复发连接网络的美白目标的过度参数化解决方案,因此我们的结果可以看作是在过度参数化的前馈线性线性网络中观察到的隐式加速现象的复发性神经网络模拟。
translated by 谷歌翻译
阴影对于逼真的图像合成至关重要。基于物理的阴影渲染方法需要3D几何形状,这并不总是可用。基于深度学习的阴影综合方法从光信息到对象的阴影中学习映射,而无需明确建模阴影几何形状。尽管如此,它们仍然缺乏控制,并且容易出现视觉伪像。我们介绍了Pixel Heigh,这是一种新颖的几何表示,它编码对象,地面和相机姿势之间的相关性。像素高度可以根据3D几何形状计算,并在2D图像上手动注释,也可以通过有监督的方法从单视RGB图像中预测。它可用于根据投影几何形状计算2D图像中的硬阴影,从而精确控制阴影的方向和形状。此外,我们提出了一个数据驱动的软影子生成器,以基于软性输入参数将软性应用于硬阴影。定性和定量评估表明,所提出的像素高度显着提高了阴影产生的质量,同时允许可控性。
translated by 谷歌翻译
已知量子计算机可以在某些专业设置中使用经典的最先进的机器学习方法提供加速。例如,已证明量子内核方法可以在离散对数问题的学习版本上提供指数加速。了解量子模型的概括对于实现实际利益问题的类似加速至关重要。最近的结果表明,量子特征空间的指数大小阻碍了概括。尽管这些结果表明,量子模型在量子数数量较大时无法概括,但在本文中,我们表明这些结果依赖于过度限制性的假设。我们通过改变称为量子内核带宽的超参数来考虑更广泛的模型。我们分析了大量限制,并为可以以封闭形式求解的量子模型的概括提供了明确的公式。具体而言,我们表明,更改带宽的值可以使模型从不能概括到任何目标函数到对准目标的良好概括。我们的分析表明,带宽如何控制内核积分操作员的光谱,从而如何控制模型的电感偏置。我们从经验上证明,我们的理论正确地预测带宽如何影响质量模型在具有挑战性的数据集上的概括,包括远远超出我们理论假设的数据集。我们讨论了结果对机器学习中量子优势的含义。
translated by 谷歌翻译
给定一个单眼视频,在恢复静态环境时进行分割和解耦动态对象是机器智能中广泛研究的问题。现有的解决方案通常在图像域中解决此问题,从而限制其对环境的性能和理解。我们介绍了脱钩的动态神经辐射场(D $^2 $ nerf),这是一种自制的方法,采用单眼视频,并学习了一个3D场景表示,该表示将移动对象(包括它们的阴影)从静态背景中解脱出来。我们的方法通过两个单独的神经辐射场表示移动对象和静态背景,只有一个允许时间变化。这种方法的幼稚实现导致动态组件接管静态的成分,因为前者的表示本质上更一般并且容易过度拟合。为此,我们提出了一种新颖的损失,以促进现象的正确分离。我们进一步提出了一个阴影场网络,以检测和解除动态移动的阴影。我们介绍了一个新的数据集,其中包含各种动态对象和阴影,并证明我们的方法可以在解耦动态和静态3D对象,遮挡和阴影删除以及移动对象的图像分段中获得比最新方法更好的性能。
translated by 谷歌翻译
我们分析了通过梯度流通过自洽动力场理论训练的无限宽度神经网络中的特征学习。我们构建了确定性动力学阶参数的集合,该参数是内部产物内核,用于在成对的时间点中,每一层中隐藏的单位激活和梯度,从而减少了通过训练对网络活动的描述。这些内核顺序参数共同定义了隐藏层激活分布,神经切线核的演变以及因此输出预测。我们表明,现场理论推导恢复了从Yang和Hu(2021)获得张量程序的无限宽度特征学习网络的递归随机过程。对于深线性网络,这些内核满足一组代数矩阵方程。对于非线性网络,我们提供了一个交替的采样过程,以求助于内核顺序参数。我们提供了与各种近似方案的自洽解决方案的比较描述。最后,我们提供了更现实的设置中的实验,这些实验表明,在CIFAR分类任务上,在不同宽度上保留了CNN的CNN的损耗和内核动力学。
translated by 谷歌翻译